Năm 1993 Klimkin bắt đầu sự nghiệp lâu dài của mình tại Bộ Ngoại giao Ukraina, nơi ông nắm giữ một loạt các chức vụ. Ban đầu ông làm tùy viên và thư ký thứ hai trong Cục quân sự và giải giáp cũng làm việc trong các phòng ban liên quan đến ngoại giao Đức, an ninh hạt nhân và năng lượng, và kinh tế. Năm 1997 ông làm việc trực tiếp cho phó thủ tướng tương lai Kostyantyn Gryshchenko, và sau này ông được vị này bổ nhiệm chức thứ trưởng[7].

Klimkin được bổ nhiệm làm công sứ-tham tán Đại sứ quán Ukraina tại Vương quốc Anh vào năm 2004, một chức vụ ông đã đảm nhận cho đến năm 2008. Vào tháng 3năm 2008, ông được bổ nhiệm là giám đốc của Vụ Liên minh châu Âu của Bộ Ngoại giao Ukraina21 Tháng 4 năm 2010, ông trở thành Thứ trưởng Ngoại giao trong Chính phủ Azov đầu tiên của Ukraina. Trong thời gian làm thứ trưởng, Klimkin đóng một vai trò trung tâm trong việc đàm phán Hiệp định hiệp hội Liên minh châu Âu-Ukraina. Theo trang Gzeta.ru, Klimkin là "bộ mặt hội nhập châu Âu của Ukraina," do ông đã dẫn một đoàn đàm phán với EU. Theo Ukrayinska Pravda, tháng 11 năm 2013 Ukraina bị EU từ chối gia nhập Liên minh châu Âu